决策树的学习

决策树的种类

• 1.决策树最早在1989年科学家提出id3算法，随后不断改进有了c4.5 cart算法，决策树在某些特定的情况下有不错的效果


先说一下 ID3算法的原理,只要理解了信息熵是怎么算的这个算法就懂了，用根的减去叶子节点的熵得到信息增益，然后树的成长就按照这个信息增益的排序来生长，决策树只需要弄懂树是怎么长的，以及什么时候结束，基本就没有问题了

• 3.
• 4.如上图，树的生长在id3算法中就是这么生长的，但是很容易发现，在这字算法下，树的形状是一个枝繁叶茂的形态，但是高度一般，甚至矮小。这是由于id3算法有倾向于数量较多的特征，使得准确率没有那么的高
• 5.
• 6. 由上图可以知道，决策树很直观，并且由于决策树的不可导性，所有使用决策树还不需要对数据进行处理，因为对数据进行归一化也不会影响原先在树中的排列顺序，像机器学习等数据需要归一化是因为在后续需要向前向传播的过程中需要求导，会画损失等高线，数据未归一化的时候，等高线是一个椭圆，需要多次递归才能有好的效果，而归一化以后很快就是圆形，效率大大提高
• 7.详细内容忘记了可以看这个文档 决策树
• 8.接下来说一下c4.5，c4.5在id3的基础上添加了一个增益率，这样完美的解决了模型偏向数量多的特征



如果调用了对应的tools，则会返回tools的名称，然后调用本地对应函数然后输出，并且大模型返回的初始结构会有tool calls参数，通过判断是否有这个参数来判断是否调用了tools的工具

• 6.
• 7.有了以上猜想，既然可以调用函数，那么我们做的事情就多了，输入一段话，告诉大模型做什么，然后大模型再调用相应的工具，下面据一个交互的列子